Codifying the Judge: Scalable Evaluation via Program Distillation
将评判逻辑代码化：通过程序蒸馏实现可扩展评估
🧭 评估 · 程序蒸馏
University of Wisconsin-Madison
将LLM评判逻辑蒸馏为可解释的程序委员会，实现低成本、透明评估，匹配13B模型性能，并产生廉价奖励信号
📌 工作参考价值（4 点）
- 在推荐系统的离线评估或奖励信号生成中，可借鉴程序蒸馏思路：用少量 LLM 标注数据蒸馏出可解释的程序化评判器，替代昂贵 API，大幅降低标注成本（如 reward model 训练）。
- 程序委员会聚合和置信度回退路由可迁移到多模型融合场景：多个简单规则/模型组成委员会，低置信度样本自动升级至复杂模型，平衡成本与质量。
- 程序化评判透明可编辑，适合电商推荐中需要业务解释性的场景：评估标准（如“推荐理由是否吸引点击”）可直接编码为规则，方便运营调整。
- 用于 reward model 蒸馏时，程序标签成本仅为专有 LLM 的 1/100，且性能更优，可为推荐系统的生成式奖励训练提供高效方案。